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Abstract of DE1 0228638 

Infrared cameras (2L.2R) detect an object that emits 
infrared radiation. A CPU (1) compares the image of 
the object obtained from the cameras to the reference 
image of an element that defines an artificial structure 
and identifies whether or not the object is an artificial 
structure. 
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(§) Fahrzeugzonen-Uberwachungsvorrichtung 

@ Die Erfindung betrifft eine Fahrzeugzonen-Uberwa- 
chungsvorrichtung, die kunstliche Strukturen auf der Ba- 
sis von Formidentifikationen unter Verwendung eines Re- 
ferenzbitds aus einem Infrarotbild eliminiert, das von ei- 
ner an dem Fahrzeug vorgesehenen Fotografiervorrich- 
tung aufgenommen worden ist, und verbleibende Objek- 
te als sich bewegende physische Korper, wie etwa FuB- 
ganger und Here erfasst Die Fahrzeugzonen-Oberwa- 
chungsvorrichtung, die die in der Nahe des Fahrzeugs be- 
findlichen physischen Korper aus Infrarotbildern erfasst, 
die von an dem Fahrzeug vorgesehenen Infrarotkameras 
(2R uns 2L) aufgenommen worden sind, umfasst eine Ob- 
jektextrahiervorrichtung, die Infra rotst rah lung abgeben- 
de Objektbilder aus dem Infrarotbild extrahiert, sowie 
eine kunstliche Struktur-ldentifiziervbrrichtung, die identi- 

■ fiziert, ob ein Objekt eine kunstliche Struktur ist oder 
, nicht indem sie das von der Objektbild-Extrahiervorrich- 

■ tung extrahierte Objektbild mit einem Referenzbild ver- 
gleicht, das ein geradliniges Muster oder ein rechtwinkli- 
ges Muster aufweist 
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?-J? e h f a ^ eine F^ugzonen- oder Fahrzeugumgebungs-Uberwachungsvorrichtung, die physi- 

5 SSJFffi r FuBga " ger Und T,erc ' diC Skh in der N3he des Fahrzeugs befinden elas7 

SneiZT ftC japan r hC Pa ! entanmeldu "g. Erstveroffentlichung Nr. 2001-6069 ist ein bekanntes Beispiel ei- 

teNU^J^'SrKS? I^S ^"erwachungsvorrichtung berechnet den Abstand zwischen den in 

Sto u?h2S2tS? « 0bjekte r^ de ™ FahrZeug aus Bildern ' die von zwei tofrarotkameras erhalten 
, n i f ^ , ^gungsvektor der Ob ekte aus den Posidonsdaten der Objekte, die in zeitlicher Auf- 

8 f ZUS5t2Uch CrfaSSt ^ die Objekte, die hohe Kolhsion moglichkeit St dem 

SjS. 8 ' *" SderBeaehun S ZW1 ? chen der F^ewegungsrichtungdesFahrzeugsunddemBewfgungsveSorde" 

Snik. fnd^Ohl^rff Patentanmeldung ErstveroflFentlichnng Nr. 2001-108758 eine 

is von dt* nhv^,?? r Welden ' mde ™ f Che Zonen eUminiert werden - die Temperaturen zeigen, die sich klar 
n!h m f/f y Korpertemperatur ernes FuBgangers unterscheiden, aus einem Infrarotbild, das mil einer Bildauf- 

nahme aufgenommen wird, die an dem Fahrzeug voigesehen ist. • 

[0004] Fur Objekte, die aus Abschnitten extrahiert sind, die die Zone eliminieren, die eine von der Kdrpertemoeratur 
ernes FuBgangers klar untersehiedliche Temperatur zeigen, besdmmt die Vorrichtung, ob das (£jS KSSS 

20 [0005] Obwohl jedoch in den oben beschriebenen herkommlichen Zonenuberwachungsvonichtungen Objekte die In- 

SSomSSSSST? k6m,en ' I st * S fassung von 0bjekten neben FuB ^ era und 5«SS£2. 

MwL- 7 a ^ Ti ni V ° n S,Ch 3US Wtane abstrah,en . wie etwa Warenautomaten, Telefonsaulen und 
^Z^t^M^ dUrCh ^neneinstrahlung erbitzt worden sind und die in, Hinblick auf die X 

25 tSh^^ dere beSteht . das Fl ° blem > dass <«* Physischen Korper, die angenahert die gleiche Temperatur wie der 
physische Korpertemperatur ernes FuBgangers haben oderdieeine langliche Fom haben, dieetwa die gleiche ist ^e die 
^ ^ geK,VMMgkgemMau 'P t ^^ >cneistw,eaie 
10007] Wenn femer FuBganger und Tiere mil unbesrimmten Formen aus den Objekten extrahiert werden indem ihre 
30 fc^ffSSS* fT 55? m ' ^ * Verbesse ™g d <" Erfassungsgenauigkeit sehwferigl t. 

,^!L ^ ^ J r e u° b !P n , Pr ° blpme 151 CS Aufgabe der Erfindung, eine FahrzeugLnen-Uberwfchungsvorrich- 
^ bnS ^ e St ^ l T en dUfCh Fo ™ ide ntifikadon unter Verwendung von Referenzbildern aus dem Sn- 
frarotbild, das von einer an dem Fahrzeug vorgesehenen Fotografiervorrichtung aufgenommen ist, eliminiert und die 

7 J T ekte 3lS PhySiS , Che K6lper erfaSSt - die Sich ^S™, wie etwa FuBganger und Here. 
Sh^l™ g fW f 611,68 der u° ben beschriebenen ^ b ^e wird nach einem ersten Aspekt der Erfindung 
sSTJ Sf nen - Ub f rw ^ngsvornchtung vorgeschlagen, die einen in derNahe des Fahrzeugs befindlichen physi 
SiTumrSend Z Bildaufhahmevorrichtung aufgenommenen Infrarotbildern^- 

erSsSSe W^KS'r?^ ^ ^ b »des Objekt aus den Infrarotbildern 

ertass^ und eine kunsthche-Struktur-Identifiziervornchtung, die ein Bild eines Objekts, das durch die Obiekt-Extrahier- 

SSS^ T m "-5"™ eines E1 ™ vergleicht, das ijne kiinsdiche StntoSSSS 
identihziert, ob das Objekt eine kiinsdiche S truktur ist oder nicht 

Sn^ie^^n v 6 ' H bC £ besch e ebenel ? wird > to eine Mehrzahl von Warme emitderenden physischen Kor- 

pem die m den von der Fotografiervorrichtung aufgenommenen Infrarotbildern vorhanden sind, ein Bild dieses physi- 
StSSSr? emem Referenzbild verglichen, und wird unterschieden, ob der physische korper einTSche 

eta^ruBXger^re"^ 

Sit S,^ Fah ^ u ^ n ^^ bu ^vorrichtung des ersten Aspekts ist ein zweiter Aspekt bevorzugt gekenn- 

vorr£ n rat Z^t^^F^™™^*' ^ dic VOn der ^nstlich^Strulctur-Identifizier- 

^^^S^SSS^ 0 ^ WOfden ^ ^ ° bjekten> ^ V0D ^ Objektextrahiervorrich- 

[0012] Mittels der oben beschriebenen Struktur werden, um andere Objekte als kflnsdiche Strukturen die Aufmerk- 

nS u dl ' 1 k ° nStliChe StmktUXa VOn aUS d « n In^tbildern extrahierte^ ^b^e eS- 

^; d r verbleibenden Objekte konnen als sich bewegende physische Korper erkannt wenien. 

„2 ^ der F ^ u g^en-Uberwachungsvorrichtung des ersten und zweiten Aspekts ist ein dritter Aspekt der Er- 
SJtifefe!, ^" ,Che - SttuktUr - 1 d «ntifiziervorrichtung Objekte, die ein Liniensegment enthalten, als kUnstliche StruJ- 
[0014] Mittels der oben beschriebenen Struktur konnen, durch Identifikadon, ob ein geradliniges Segment vorhanden 
S"ui^ 

mni-n t , c ^ en Wer ^° Wd konncn Mdere 0b j ekte ^ k«nstliche Objekte erkannt werden 
S ' f Fab f eu S zonen -^ rwacb «°gsvorrichtung der ersten bis dritten Aspekte ist ein vierter Aspekt der Erfin- 
dung bevorzugt dadurch gekennzeichnet, dass die kunsdiche-Slruktur-Identifiziervoirichtung eineRefemnrfiilddimlnsi- 

ssssssssatsit die ^ des Refercnzbiids s ° ve ^ dass sie - Ab - d 

[0016] Mittels der oben beschriebenen Struktur kann die Prazision der Erfassung, ob ein Objekt eine kunstliche Struk- 

plemenuert bzw komplemenUr gemacht werden, die aufgrund des Abstands zwischen dem Objekt und dem Fahrzeue 
a nn^ D «r nd °f """^ einer g^S^en GroBe bzw. MaBstab Bezug genommen wird. 8 
[0017] Wie oben erlautert, wird das Ergebnis der tjberwachung der Umgebung in der Nahe des Fahrzeugs behandelt, 



35 



40 



45 



2 



DE 102 28 638 A 1 



indem es in bewegende physische Korper, wie etwa FuBganger und Here, und kunstliche StraBenstrukturen klassifiziert 
■ wird. Somit kann z. B. fiir den Fall, dass die Umgebung in der Nahe des Fahrzeugs dem Fahrer des Fahrzeugs angezeigt 
wird, das Verfahren zum Anzeigen dieser Objekte differenziert unterschiedlich sein, wobei dem Fahrer solche physi- 
schen Korper geeignet mitgeteilt werden, denen mehr Aurmerksamkeit geschenkt werden sollte. 

[0018] Falls - z. B. die Information iiber diese physischen Korper bei der Fahrzeugsteuerung verwendet wird, kann 5 
diese, in Abhangigkeit von der Klassifizierung und Wichugkeit der physischen Korper, als Bestirnmungsmaterial ver- 
wendet werden, um die Reihenfolge oder den BefehL zur Fahrzeugsteuerung zu verandern. 

[0019] Wie oben beschrieben, wird nach dem ersten Aspekt der Erfindung das Bild einer Mehrzahl von Objekten, die 
Warme abstrahlen und in einem durch eine Fotografiervorrichtung aufgenommenen Infrarotbild vorhanden sind, mit ei- 
nem Referenzbild verglichen. Es iasst sich unterscheiden, ob dieser physische Korper eine kunstliche Struktur mit einer 10 
bestimmten Form oder ein sich bewegender physischer Korper wie etwa ein FuBganger oder ein Her ist 
[0020] Durch Klassifizieren von aus dem Infrarotbild extrahierten Objekten in kunstliche Strukturen und naturliche 
Strukturen erhalt man den Effekt, dass physische Korper, die wichtig sind und denen in Bezug auf die Fahrt des Fahr- 
zeugs mehr Aurmerksamkeit geschenkt werden sollte, zuverlassig erkannt werden konnen. 

[0021] Zusatzlich kann im Vergleich zu den Fall, in dem FuBganger und Here mit undefinierten Formen aus einem Ob- 15 
jekt durch die Formidentifizierung des Objekts selbst extrahiert werden kann, weil physische Korper mit bestimmten 
Formen erfasst werden, der EfFekt erhalten werden, dass das Erkennen des Objekts mit weniger Berechnung und hoherer 
Erfassungsprazision erfolgt. 

[0022] Nach dem zweiten Aspekt der Erfindung werden, um andere Objekte als kunstliche Strukturen zu extrahieren, 
denen Aufmerksamkeit geschenkt werden sollte, die kunstlichen Strukturen aus den von dem Infrarotbild extrahierten 20 
\ Objekten eliminiert, und die verbleibenden Objekte werden als bewegende physische Korper erkannt, 
" [0023] In dem man kunstliche Strukturen ausschlieBt und nur solche Objekte behandelt, die nicht kiinstliche Strukturen 
" sind, die aus dem Infrarotbild extrahiert worden sind, erhalt man daher den Effekt, dass das Erkennen wichtiger physi- 
scher Korper verbessert werden kann. 

[0024] Nach dem dritten Aspekt der Erfindung konnen, durch Identifikation, ob ein geradliniges Segment vorhanden 25 
ist oder nicht, das kiinsdiche Strukturen in dem Bild einfach charakterisiert, Objekte mit geradlinigen Segmenten als 
kunstliche Struktur ausgeschlossen werden, und Objekte die nicht kunstliche Strukturen sind, konnen erkannt werden. 
[0025] Daher konnen StraBenstrukturen aus dem Infrarotbild vergleichsweise leicht entfemt werden, und man kann 
den Effekt erhalten, dass die Erfassungsprazision von FuBgangern und Tleren, die eine undefinierte Form haben, verbes- 
sert werden kann. 30 
[0026] Nach dem vierten Aspekt der Erfindung erhalt man durch Kompensation der GroBendifferenzen zwischen dem 
Objektbild und dem Referenzbild, das durch den Abstand zwischen dem Objekt und dem Fahrzeug erzeugt wird, und 
durch Vergleichen beider mit einer geeigneten GroBe, den Effekt erhalten, dass die Erfassungsprazision, ob das Objekt 
eine kunstliche Struktur ist oder nicht, verbessert werden kann. 
_ _[002TJ ...Daher erhalt man die.Effekte, dass Erfassungsfehler aufgrund des Abstands zwischen dem Fahrzeug und dem 35 
Objekt vermieden werden konnen, und die Umgebungsuberwachung in der Nahe des Fahrzeugs kann iiber einen weiten 
Bereich hinaus ausgefuhrt werden. 

[0028] Durch die Unterscheidung physischer Korper, die sich bewegen, wie etwa FuBganger und Here, von kunstli- 
chen StraBenstrukturen, kann die Information iiber diese physischen Korper bei der Fahrzeugsteuerung benutzt werden, 
und falls diese Information als Information oder Warnungen dem Fahrer des Fahrzeugs angezeigt wird, kann dies als Ma- 40 
terial benutzt werden, um das Anzeigeverfahren der Information und der Warnungen in Abhangigkeit vom Inhalt und der 
Wichtigkeit des Objekts oder das Steuerverfahren des Fahrzeugs zu verandern. 

[0029] Die Erfindung wird nun anhand von Ausfuhrungsbeispielen unter Hinweis auf die beigefugten Zeichnungen be- 
schrieben. 

[0030] Fig. 1 zeigt im Biockdiagramm die Struktur der Fahrzeugzonen-Uberwachungsvorrichtung nach der Ausfiih- 45 
rung; 

[0031] Fig. 2 zeigt die Installationspositionen der Infrarotkameras, Sensoren, der Anzeige u. dgl. in dem Fahrzeug; 
[0032] Fig. 3 zeigt im Flussdiagramm die Prozesssequenz fur alle Operationen in der Bildprozessoreinheit der Fahr- 
zeugzonen-tjberwachungsvorrichtung dieser Ausfuhrung; 

[0033] Fig. 4A und Fig. 4B zeigen die Grauskalierungen, die durch die Infrarotkamera erhalten werden, sowie das bi- so 
nare Bild idavon; 

[0034] Fig. 5A, 5B und 5C zeigen den Umwandlungsprozess und die Markierung bzw. Kennzeichnung fur die Lauf- 
langendaten; 

[0035] Fig. 6A und 6B zeigen die zeitliche Verfolgung des Objekts; 

[0036] Fig. 7 zeigt die Drehwinkelkompensation des Objektbilds, 55 
[0037] Fig. 8A und 8B zeigen das Suchbild im rechten Bild und die gesetzte Suchzone im linken Bild; 
[0038] Fig. 9 zeigt den Korrelationsberechnungsprozess, der die Suchzone als Objekt verwendet; 
[0039] Fig. 10A und 10B zeigen das Berechnungsverfahren zur Objektparallaxe in der Abstandsberechnung des Ob- 
jekts; 

[0040] Fig. 11 zeigt den Versatz oder Offset der Objektposition in dem durch Drehen des Fahrzeugs erzeugten Bild; 60 

[0041] Fig. 12 zeigt im Flussdiagramm die Details des Warnbestimmungsprozesses in der Bildprozessoreinheit der 

Fahrzeugzonen-Uberwachungsyorrichtung dieser Ausfuhrung; 

[0042] Fig. 13 zeigt die Zonenaufteilung in der Vorwartsrichtung des Fahrzeugs; 

[0043] Fig. 14 zeigt den Fall, in dem leicht eine Kotlision auftreten kann; 

[0044] Fig. 15 zeigt im Flussdiagramm die Details des Erfassungsprozesses eines vertikalen linearen Tfeils in der Bild- 65 
prozessoreinheit der Fahrzeugzonen-Uberwachungsvorrichtung der Ausfuhrung; 

[0045] Fig. 1 6 zeigt im Russdiagramm die Details des Erfassungsprozesses des horizontalen linearen Teils in der Bild- 
prozessoreinheit der Fahrzeugzonen-Uberwachungsvorrichtung dieser Ausfuhrung; . 
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[SSI 8" 20rLloR UChC ^ fflr die Suche des vertikalen linearen Teils- 

Wn F,g. 20A und 20B zetgen che Details des extrahierten Musters des vertikalen Une^ Teils bei der Suche des 

S3 ft KSS^^S^S 5 - - vi-kigen Teils bei der Suche des Bilds; 
[0052] Fig. 23 zeig, in, FkJdiagran^ S DwSSfSS^m 8 StraBenst ™ ktur ' 

0054] Ffe Jt^Sar SUC J? e d6S 0b J e ^^'ers zum Erffssen identischer Formen 
Sis & 1 "* ,m Bl0ckdla » ««- Struktur der Fahrzeugzonen-Ufc.rwaehungsvoStung des Ausfuhrungs- 

zwei Infrarotkameras 2R und 2L, die InfScht erfZnl g , , Ausfi,hrun S steuert - ™* "it ihr verbunden sind 
bewegungen dieses Fahrzeugk^S Xh^StS^*™ Q *?TT? ^ Schwi W *>™- Gier- 
schwindigkeit) dieses FahrzLsSsT Se ei 8 *T °l d ' e Fah ^hwindigkeit (Fahrzeugge- 
dieBildprozessoreinheitle^ 

Signalen, die das Infrarotbild in der N^dnF^ue.ZSZ? FuB W «** ™sr vor dem Fahrzeug aus 
stimmt, wenn die MOglichkeit einer Sion bSOSF KpraXntie ™> S0wie den Fahrzustand des Fahrzeugs, und.be- 

tiert, eine NAVI-Anzeige (Navigauonsanzeige) £ ^ 2 Fah f™d des Fahrzeugs numerisch reprasen- 
Up Display), das Informationen an der ^^i^^^^^J^^^^^^^^^ 
rers stort, integriert, um den Fahrer des F^eug7uSr Ob SSSZ?* "J* "'^ ^ ** *™* cht des Fah " 
hochist. SSU ^ rUb J ektelnKennm «^setzen,nutdenendieKoUisionsgefahr 

Prozessoreinheit), die^ede ^vT^^ 

Speichern von Daten dient, die die C^gegrwa^wSS ™ mt wah ^m Zugriff), das zum 

fUhrte Programme, Tabellen, Kennfelder u. dgl ^^^S^^l^^ 0 ^' *** V °" d * tCPU auS 8 e " 
schaltung,dieAnzeigesignaleu del z B an das mm « T™ bw f S nal fur den Lautsprecher 6 sowie eine Ausgabe- 
derInfr a rotkamera S 2^und2^^^ 

tale Signale umgewandelt u J ffie Su ^^^^ 4 "d *• Bremssensors I indigi- 

tischen Achsen der zwei Mratotkme^ 2R uTd 2T ^ HtU f g deS Fahrzeu S* M angeordnet, und die op- 

40 ab^derStraBenoberflacheau^ 

scbaft,das S derAusgangssignigelansteigt(2Hem?^ 

[0059] Zusatzlich ist das HUD7a sTvoShen Stf 5 ™™>< wenn dle Tem I*™ur des Objektes ansteigt 

cher (Schritt S3). Ferner wird ^SSS^tSSSSSi Sff* *5 ? raUska, f bild in dem B»dspei- 
Infrarotkamera 2L erhalten. Zusatzlich wird IndLSKSn?^? ^ *^ d dann wd ^ Unke Bild vo ° der 
Anzeigeschirm desselben Objekts nufeinem V^Z^iTj^^ ^ T/* hori ™^ auf dem 

stand zu diesem Objekt berechnet werdeT * 8 ' d S0Imt ka " n durch d,esen Versatz (Parallaxe) der Ab- 

Eng D ^ 

erhalt man L BiS vc^S ^weSn K ^ST? ? "Jf ^ ^ *"* *" «*" ftozess 

[0066] Fig. 5A erlautert dies SSZ! I^nangenda^en umgewandelt werden (Schritt S5). 
gewordenislalsdieLmfe^ S g?^ 

und sind, obwohl sie tatsachlich ohne zShemaum n der pi ^, ^ ^ ^ olr j « der y-Richtung 
getrennt worden. Zusatzlich haben ^Sen ™U ieweS.t Tl ZweCke der ^erung 
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(x5, y5) und somit wird (x3, y5, 3) die Lauflangendaten. 

[0067] Dann wird aus den in Lauflangendaten umgewandelten Bilddaten, durch Markierung des Objekts (Schritt S6) 
der Prozess ausgefuhrt, mit dem das Objekt extrahiert wird (Schritt S7). Das heiBt, wie in Fig. 5B gezeigt, dass von den 
Linien LI bis L8, die in Lauflangendaten umgewandelt worden sind, die Linien LI bis L3, die die in der y-Richtung uber- 
lappenden Teile sind, als ein Objekt 1 behandelt werden, die Linien L4 bis L8 als ein Objekt 2 behandelt werden und die 5 
Objektmarkierungen 1 und 2 zu den Lauflangendaten addiert werden. Durch diesen Prozess werden z. B. die in Fig. 4B 
gezeigten sehr hellen Zonen jeweils als Objekte 1 bis 4 erkannt. 

[0068] Wenn die Extraktion der Objekte abgeschlossen isU wie in Fig. 5C gezeigt, wird dann der Schwerpunkt G, die 
Oberflachenausdehnung S und das Aspektverhaltnis ASPECT des mit den unterbrochenen Linien umschriebenen Vier- 
ecks berechnet (Schritt S8). 10 
[0069] Hier wird die Oberflachenausdehnung S berechnet, indem die Langen der Lauflangendaten fur das gleiche Ob- 
jekt addiert werden. Zusatzlich wird die Koordinate des Schwerpunkts G als die x-Koordinate jerier Linie berechnet, die 
die Oberflachenausdehnung S in der x-Richtung zweiteilt, und die y-Koordinate jener Linie, die sie in der y-Richtung 
zweiteilt Ferner wird das Aspektverhaltnis ASPECT berechnet als das Dy/Dx- Vernal tnis von Dy und Dx, wie in Fig. 5C 
gezeigt Femer kann die Position des Schwerpunkts G durch die Position des Schwerpunkts des umschriebenen Vierecks is 
ersetzt werden. 

[0070] Wenn der Schwerpunkt, die Oberflachenausdehnung und das Aspektverhaltnis des Umschreibungsvierecks be- 
rechnet worden sind, erfolgt dann die Erkennung der zeitlichen Verfolgung bzw. Zeitspur, d. h. die Abtastung jedes Zy- 
klus desselben Objekts (Schritt S9). In einer zeitlichen Verfolgung dient k als die Zeit, wahrend der die Zeit t als analoger 
Betrag an einem Abtastzyklus diskret gemacht wird, und wie in Fig. 6A werden, falls die Objekte A und B zur Zeit k ex- 20 
trahiert werden, die Objekte C und D, die zur Zeit (k + 1) extrahiert werden, als mit den Objekten A und B identisch be- 
stimrat. Insbesondere wenn die folgenden Identitatsbestimmungsbedingungen 1 bis 3 erfullt sind, werden die Objekte A 
und B als identisch mit den Objekten C und D bestimmt und die Markierungen der Objekte C und D werden jeweils in die 
Objekte A und B geandert. 

25 

1) Wenn die Positionskoordinaten des Schwerpunkts im Bild des Objekts i ( = A, B) zur Zeit k jeweils auf (xi(k), 
yi(k)) gesetzt werden und die Positionskoordinaten des Schwerpunkts des Bilds des Objekts j (= C, D) zur Zeit (k + 

1) jeweils auf (xj(k + 1), yj(k + 1)) gesetzt werden, dann gilt lxj(k + 1) - xi(k)l < Axlyj(k + 1) - yi(k)l < Ay, wobei Ax 
und Ay die zulassigen Werte des Bewegungsbetrags in dem Bild jeweils in der x-Richtung und der y-Richtung be- 
zeichnen. 30 

2) Wenn die Oberflachenausdehnung des Objekts i (= A, B) in dem Bild zur Zeit k gleich Si(k) ist und die Oberfla- 
chenausdehnung des Objekts j (= C, D) des Bilds zur Zeit (k + 1) gleich Sj(k + 1) ist, dann gilt Sj(k + 
1)/Si(k) < 1 ± AS, wobei AS die zulassigen Werte der Flachenanderung bezeichnet 

3) Wenn das Aspektverhaltnis des umschriebenen Vierecks des Objekts i (= A, B) zur Zeit k gleich ASPECT i(k) ist 
und das Aspektverhaltnis des umschriebenen Vierecks des Objekts j (= C, D) gleich ASPECT j(k + 1) ist, dann.gilt 35 

ASPECT j(k + 1)/ASPECT i(k) < 1 ± A ASPECT, wobei A ASPECT die zulassigen Werte des Aspektverhaltnisses 
bezeichnet. 

[0071] Wenn man z. B. Fig. 6A und 6B vergleicht, erfullen, obwohl die GroBe jedes der Objekte in dem Bild groBer 
wird, das Objekt A und das Objekt C die oben beschriebenen Bedingungen fur die Identitatsindifikation, und erfullen das 40 
Objekt B und das Objekt D die oben beschriebenen Bedingungen fur die Identitatsidentifikation, und somit werden die 
Objekte C und D jeweils als die Objekte A bzw. B erkannt. Auf diese Weise werden die Positionskoordinaten (des 
Schwerpunkts) jedes der erkannten Objekte in dem Speicher als zeitserielle Positionsdaten gespeichert, die beim spate- 
ren Berechnungsprozess verwendet werden. 

[0072] Ferner wird der oben erlauterte Prozess in den Schritten S.4 bis S9 an einem binaren Referenzbild ausgefuhrt (in 45 
dieser Ausruhrung dem rechten Bild). 

[0073] Dann wird die Geschwindigkeit VCAR, die von dem Gesch windigkeitssensor 4 erf asst ist und die Gierrate YR, 
die von dem Gierratensensor 3 erfasst ist, gelesen, und, wie in Fig. 7 gezeigt, wird der Kurvenfahr- bzw. Drehwinkel 6r 
des Fahrzeugs 10 durch Integrieren der Gierrate Yr in Bezug auf die Zeit berechnet (Schritt S 1 0). 

[0074] Irn Gegensatz hierzu wird der Prozess der Schritte S9 und S10 parallel ausgefuhrt, und in den Schritten S 11 bis 50 
S13 wird der Prozess ausgefuhrt, der den Abstand z zwischen dem Objekt und dem Fahrzeug 10 berechnet Weil diese 
Berechnung langer dauert als die Schritte S9 und S10, werden sie in einem langeren Zyklus als Schritt S9 und S10 aus- 
gefuhrt (z. B. mit einem Zyklus, der etwa das dreifache des Ausfuhrungszyklus der Schritte SI bis S10 betragt). 
[0075] Zuerst wird, durch Auswahl von einem der Objekte, das durch das binare Bild des Referenzobjekts (des rechten 
Bilds) markiert bzw. verfolgt wird, wie in Fig. 8A gezeigt, in dem Suchbild Rl (hier wird die Gesamtflache, die von dem 55 
Umschreibungsviereck umgeben ist, zum gesuchten Bild gemacht) von dem rechten Bild extrahiert (Schritt.S 11 ). 
[0076] Dann wird die Fahrzeugsuchzone, in der das Bild dem gesuchten Bild (nachfolgend als das "korrespondierende 
Bild" bezeichnet) entspricht, von dem linken Bild gesetzt, und das korrespondierende Bild wird durch Ausruhrung der 
Korrelationsbereichnung extrahiert (Schritt S12). Insbesondere wird, wie in Fig. 8B gezeigt, in Abhangigkeit von jeder 
der Spitzenkoordinaten des gesuchten Bilds Rl, die Suchzone R2 in dem linken Bild gesetzt, und der Helligkeitsdiffe- 60 
renz-Gesamtwert C (a, b), der den Korrelationsgrad mit dem gesuchten Bild Rl in der Suchzone R2 angibt, wird durch 
die nachfolgend gezeigte Gleichung 1 berechnet, und die Zone, in der dieser Gesamtwert C (a, b), minimal wird, wird als 
das korrespondierende Bild extrahiert. Anzumerken ist, dass diese Korrelationsberechnung mittels des Grauskalenbilds 
und nicht des binaren Bilds ausgeruhrt wird, , 

[0077] Wenn dariiberhinaus vergangene Positionsdaten fiir den identischen physischen Korper vorhanden sind, wird 65 
eine Zone R2a (in Fig. 8B mit unterbrochener Linie gezeigt), die schmaler ist als die Suchzone R2, so gesetzt, dass sie als 
die Suchzone dient. 
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kalen Zone R3 mit derselben Form, wobei die SSJiT? bH„ de^f 5* J> " der Suchzone R1 und ** ^ 
korrespondierenden Bilds wird definiert, indem to PosWo^ Basispunkte sind. Die Position des 
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[0079] AufgrunddesP^eleTm^^^^^^ 
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trag Equivalent Ax, wie in Fig. 1 1 gezeigt in dem von irotP' 1 , S Verschlebun 8 « der x-Richtung urn einen Be- 
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[0088] Hier ist u ein Parameter, der einen beliebigen Wert einnimnit, und Xav, Yav und Zav sind jeweilige Mittelwerte 15 
der X-Koordinate, der Y-Koordinate und der Z-Koordinate der realen Raumpositionsdaten-Sequenz. 
[0089] Wenn ferner der Parameter u eiiminiert wird, wird Gleichung 5 zu Gleichung 5a: 

QC -Xav)/lx = (Y-Yav)/ly = (Z-Zav)/lz Gl. 5a 

20 

[0090] Fur den Fall, dass z. B. P(Q), P(l), P(2), . . P(n-2), P(N-1) die Zeitseriendaten nach der Drehwinkelkompen- 
sation bezeichnet, lauft die angenahert gerade Linie LMV durch die Mittelwertpositionskoordinate Pav = (Zav, Yav, Zav) 
der Zeitsequenzdaten, und sie wird als gerade Linie gefunden, die dadurch gekennzeichnet ist, dass der Mitteiwert des 
Quadrats des Abstands von jedem der Datenpunkte minimal ist. 

[0091] Hier bezeichnet der in Klammern gesetzte numerische Wert, der zu P addiert ist, das die Koordinate jedes Da- 25 
tenpunkts bezeichnet, an, dass, je groBer der Wert, desto alter die Daten sind. Zum Beispiel bezeichnet P(0) die jiingste 
Positionskoordinate, P(l) bezeichnet die Positionskoordinate einer ein Zyklus zuriickliegenden Abtastung und P(2) be- 
zeichnet die Positionskoordinate einer zwei Zyklen zuriickliegenden Abtastung. 

[0092] Wenn dann die jiingste Positionskoordinate P(0) = (X(0), Y(0), Z(0)) ist, wird die Positionskoordinate P(N-1) = 
(X (N-l), Y(N-1), Z(N-1)) der (N-l) zuriickliegenden Abtastung (vor der Zeit AT) auf eine Position auf der angenahert 30 
geraden linie LMV kompensiert Genauer gesagt, durch Anwenden der Z-Koordinaten (Z(0), Z(N-1)) auf die obige 
Gleichung 5a, d, h. der folgenden Gleichung 6, werden die Positionskoordinaten nach der Kompensation Pv(0) = (Xv(0), 
Yv(0), Zv(0)) und Pv(N-l) = (Xv(N-l), Yv(N-l), Zv(N-l)) gefunden. 

~Xv(j) « (Z(j) - Zav) x | - Xav 35 
/v 

Yv(j)-(Z(j)-Zav)x + -Yav ...GI.6 

40 

[0093] Der relative Bewegungsvektor wird als Vektor von der in Gleichung 8 berechneten Positionskoordinate 45 
Pv(N-l) zu Pv(0) hin gefunden. 

[0094] In dem den relativen Bewegungsvektor, herausfindet, indem man der angenahert geraden Linie, die sich dem re- 
lativen Bewegungsort'des Objekts in Bezug auf das Fahrzeug 10 aus einer Mehrzahl (N) Daten innerhalb der Uberwa- 
chungsperiode AT berechnet, kann der Einfluss des Ppsitionserfassungsfehlers reduziert werden, und kann die M6glich- 
keit einer Kollision mit dem Objekt genauer vorhergesagt werden. 50 
[0095] Wenn daruberhinaus in Schritt S 1 6 der relative Bewegungsvektor gefunden worden ist, wird dann die Moglich- 
keit einer Kollision mit dem erfassten Objekt bestimmt, und es wird ein Warnbestimmungsprozess ausgefiihrt, der eirie 
Warnung ausgibt, wenn die Moglichkeit hoch ist (Schritt SI 7). 

[0096] Ferner kehrt, wenn der Warnbestimmungsprozess abgeschlossen worden ist, der Fluss zu Schritt S 1 zuruck, iind 
der obige Prozess wird wiederholt. .55 
[0097] Niin wird der Warnbestimmungsprozess in Schritt S17 des in Fig, 3 gezeigten Flussdiagramms anhand des in 
Fig. 12 gezeigten Russdiagramms erlautert , 

[0098] Wie in Fig, 14 gezeigt, wird hier als ein zu erlauterndes Beispiel ein Fall beschrieben, in dem sich ein Tier 20 
mit einer Geschwindigkeit Vp in einer Richtung bewegt, die einen Winkel von angenahert 90° in Bezug auf die Fbrtbe- 
wegungsriehtung des Fahrzeugs 10 hat. 60 
[0099] Zuerst berechnet die Bildprozessoreinheit 1 mittels der folgenden Gleichung 7 die relative Geschwindigkeit Vs 
in der Z-Richtung von dem Tier 20, das sich wahrend der Zeit AT dem Abstand Zv(0) von dem Abstand Zv(N-l) anna^ 
hert, und fuhrt einen Kollisionsbestimmungsprozess aus (Schritt S21). Der Kollisionsbestimmungsprozess ist ein Pro- 
zess, der bestimmt, ob die Moglichkeit einer Kollision besteht, wenn die folgenden Gleichungen 8 und 9 erfullt sind. 
[0100] Fur den Fall, dass in Schritt S21 bestimmt worden ist, dass eine Moglichkeit einer Kollision mit dem Tier 20 be- 65 
steht (JA in Schritt S21), geht der Fluss zum nachsten Schritt S22 weiter. 

[0101] Wenn dariiber hinaus in Schritt S21 Gleichung 8 und/oder Gleichung 9 nicht erfullt ist, wird bestimmt, dass 
keine Moglichkeit einer Kollision mit dem Tier 20 besteht (NEIN in Schritt S21), und der Warnbestimmungsprozess 
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wird beendet. 

Vs = (Zv(N-a) - Zv(0))/AT 01. 7 
5 Zv(0)/Vs < T GL 8 
IYv(0)l<H 01. 9 
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mit je„ em vor der Kompensation* ^^S^^^Z^^^^T t Wert * de < 
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ausgegeben, und der Fahrer wird nicht unnotig belastigt. 

[0113] Wenn dariiber hinaus die Beschieunigung Gs gleich oder kleiner als der vorbestimmte Schwellenwert GTH ist 
und dariiber hinaus der Fahrer des Fahrzeugs 10 keine Bremsbetatigung ausfuhrt, geht der Fluss Unmittelbar zu den Pro- 
zessen in Schritt S25 und den folgenden weiter, wo die Formbestimmung des Objekts ausgeflihrt wird. 
[0114] Ferner wird der vorbestimmte Schwellenwert GTH durch die folgende Gleichung 1 1 besummt. Dieser Wert ent- 5 
spricht dem Zustand, in dem das Fahrzeug 10 mit einem Fahrabstand gleich oder kleiner als der Abstand Zv(0) stoppt, 
falls die Beschieunigung Gs wahrend der Bremsung so bleibt wie sie ist. 

Gm -2^(0) • ■- 

[0115] Bei der Formidentifikation des Objekts in Schritt S25 und folgenden, sind die folgenden Schritte enthalten: 
Identifizieren, ob ein Teil, das ein geradliniges Segment indiziert, in dem Bild des Objekts enthalten ist oder nicht (Schritt 

525) ; ob ein Winkel im Bild des Objekts ein reenter Winkel ist oder nicht (Schritt S26); ob das Bild des Objekts mit der 
Form einer vorab registrierten kiinstlichen Struktur ubereinstimmt oder nicht (Schritt S27); und ob eine Mehrzahl iden- 15 
tischer Formen in dem Bild des Objekts enthalten sind oder nicht (Schritt S28). 

[0116] Zuerst wird identifiziert, ob ein Teil, das ein geradliniges Segment indiziert, in dem Bild des Objekts enthalten 
ist oder nicht (Schritt S25). 

[0117] In Schritt S25 wird, falls kein geradliniges Segment indizierendes Tfeil in dem Bild des Objekts enthalten ist 
(NEIN in Schritt S25), identifiziert, ob ein Winkel in dem Bild des Objekts ein reenter Winkel ist oder nicht (Schritt S26). 20 
[0118] In Schritt S26 wird, falls ein Winkel in dem Bild des Objekts kein reenter Winkel ist (NEIN in Schritt S26) iden- 
tifiziert, ob das Bild des Objekts mit der Form einer vorab registrierten kiinstlichen Struktur ubereinstimmt oder nicht 
(Schritt S27). 

[0119] In Schritt S27 wird, falls das Bild des Objekts nicht mit der Form der vorab registrierten kiinstlichen Struktur 
ubereinstimmt (NEIN in Schritt S27) identifiziert, ob eine Mehrzahl identischer Formen in dem Bild des Objekts enthal- 25 
ten sind oder nicht (Schritt S28). 

[0120] Zusatzlich ist in Schritt S28, falls eine Mehrzahl identischer Formen in dem Bild des Objekts nicht enthalten ist 
(NEIN in Schritt S28), die Moglichkeit, dass das Objekt ein FuBganger oder ein Her ist, hoch, und somit wird eine 
stimmliche Warnung durch den Lautsprecher 3 ausgegeben, und gleichzeitig wird die Bildanzeigevorrichtung 7 z. B. das 
von der Infrarotkamera 2R erhaltene Bild angezeigt, und das sich annahernde Objekt wird auf der Anzeige hervorgeho- 30 
ben (z. B. dadurch hervorgehoben, dass es von einem Rahmen umgeben wird) (Schritt S29). 

[0121] Falls hingegen in Schritt S25 ein ein geradliniges Segment indizierendes Teil in dem Bild des Objekts enthalten 
ist (JA in Schritt S25), oder falls in Schritt S26 ein Winkel in dem Bild des Objekts ein reenter Winkel ist (JA in Schritt 

526) , oder falls in Schritt S27 das Bild des Objekts mit der Form einer vorher registrierten kiinstlichen Struktur Uberein- 
-stimmt ( JA in Schritt S27),- oder falls ferner in Schritt S28 eine Mehrzahl identischer-Formen in dem Bild des Objekts 35 

enthalten sind (JA in Schritt S28), wird das Objekt als kunstliche Struktur behandelt, und das in Schritt S7 von Fig. 3 ex- 
trahierte Objekt wird eliminiert (Schritt S30). Es wird keine Warnung ausgegeben, und der Warnbestimmungsprozess 
wird abgeschlossen. 

[0122] Nun wird ein Verfahren zur Identifizierung einer Form des Objekts in Fig. 12, wie oben beschrieben, und ins- 
besondere der Suchprozess fiir die geradlinigen Segmente und die rechtwinkligen Segmente in Schritt S25, Schritt S26, 40 
Schritt S28 und Schritt S30 anhand der Figuren erlautert. 

[0123] Fig. 15, Fig. 16, Fig. 17 und Fig. 23 sind Russdiagramme, die im weiteren Detail den Prozess der Schritte S25, 
S26, S28 und einen Teil des Prozesses von Schritt S30 zeigen, 

[0124] Bei der Suche nach einem geradlinigen Segment beginnt die Bildprozessoreinheit 1 mit der Erf assung vertika- 
ler Liniensegmente (Identifizierung vertikaler Liniensegmente). Fig. 15 ist ein Hussdiagramm, dass die Identifizierung 45 
der vertikalen, geradlinigen Segmente zeigt. 

[0125] Daher werden zuerst, urn nach vertikalen geradlinigen Segmenten zu suchen, das Bild des Objekts und das 
rechte gerade Liniensegment-Bildmuster, das ein Referenzbild zur Ausfuhrung der Korrelationsberechhung ist, ausge- 
wahlt (Schritt S31). In Abhangigkeit von dem Abstand zwischen dem Fahrzeug 10 und dem Objekt, der in Schritt S 13 
des Hussdiagramms von Fig. 3 gefunden ist, wird die MustergroBe des Referenzbilds so bestimmt, dass sie proportional 50 
zur GroBe des Bilds des realeri Raums ist, das auf das Anzeigebild projiziert wird (Schritt S32). 

[0126] Hier erfolgt die Bestimmung der MustergroBe des Referenzbilds wie foigt. Insbesondere, falls der Abstand zwi- 
schen dem Fahrzeug 10 und dem Objekt mittels der obigen Gleichung 2 berechnet wird als z = L[m], wird das Objekt mit 
einer Hohe A[m] und Breite B[m] an einer Position mit Abstand L[m] im realen Raum mit einer GroBe gleich a x b[Pi- 
xel] auf dem Anzeigeschirm projeziert. 55 

a = fxA/L Gl. 12 

b=fxB/L Gl. 13 

60 

[0127] Daher wird, wie in Fig. 18A gezeigt, aus dem rechten geradlinigen Segment-Bildmuster, das vorab vorbereitet 
ist, z. B. das a X b[Pixel]-gerade Liniensegment-Muster extrahiert Das rechte gerade Liniensegment-Extraktionsmuster 
"Pat_Line_R" dient als Referenzrnuster. Ahnlich ist in Fig. 1 8B das a X b[Pixel] linke geradlinige Segment-Extraktions- 
muster M Pat_Line_L ,, gezeigt, das aus dem vorab vorbereiteten linken gerade Uniensegment-Biidmuster exu^hiert ist. 
[0128] Wenn die ReferenzgroBe fiir die Korrelationsberechnung herausgefunden ist, wird dann die Suchzone in der 65 
Nahe des Objekts gesetzt (Schritt S33). 

[0129] Hier erfolgt das Setzen der Suchzone wie foigt. Wie insbesondere in Fig. 19 gezeigt, wird der Umriss (das bi- 
nare Objektbiid 100), das der binaren Extraktion unterzogen worden ist, den Umriss des Objekts 101 nicht notwendiger- 
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^(KSS^^^ fl ?T f-^iS* 102 ^ Um «^vierecks des binSren Objekt- 
dieser a x a[Pixel]-Bereiche * * ** Suchbereich 103 die Koirelationsberechnung umfasst 

nung herausgefbndTSritS) ^^ment-ExtrakUonsmuster «Pat_Line_R» hat, dun* die Kotrelationsberech- 

Korrelation und das Objckt 101 idondSSSdto itZr ? • be u s0mmen - ob das ^ 11111 d <* ***** 

OBJPat 104 als identische physische KfirSTdSSt w^Z, 5 , ? ™ '5 kannen das 0b j ekt 101 und 
laxe Ad und Ad P, anstatt AbstLe zu a % ^ ^ durch Ve, * leich <kr berechneten Paral- 
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ax* r * ^ ^ c^'asaXw^'*' 

Schntt S40 weiter, und es wird identifiziert ob das hei rW i<w™.io*- u , V ^cnntt 5 3 1), gent der Fluss zu 

kes geradliniges Segxnent-Bildmuster ^It^o^uS^ WnW °* te Refercn "' «n 

gewahlt (Schritt S41), und der Fluss keL zu S^S^ruck VOrbereitete hnke « erade L'mensegment-Bildmuster 

a x 8[Pixel] linke gerade Linien Jgment-Ex.^^ wurde ' Das 

radeLiniensegment-BUdmusterextrahiertkt Hi P nZ«I^ f*-"«L.L ,das von dem in Fig. 18 gezeigten linken ge- 
Suchbereichs 103 in derlSSSSS^M WBJ £ T^Th^ 7'" Schri " S34 ' V ° n inne * alb d <* 

niges Segment als ira Objekt 101 befindlkh idartbtat^rinT ^ ^ ™- . au * gefilhrt - Wenn e,n vertikales geradli- 

rade Liniensegmente dutch ^S^^S^^^- t0ttidia ^ * Suche deS Vertika ^ n S e " 
ensegment-ExUtionsmusterbe^^^ * a " ch . das Mntof-to Lini- 

handen identifiziert (Schritt S42) und SSS^J^SS^^' geradfiniges Segment als vor- 

[0140] FercerHegtl^derobSS 

eine Korreladonsberechnung unter Verwendune sowoM 2< a S jf? em -I den " fizie ™g Grand dafur, dass 
des linken geradlinigen SegLnt-ExS„ s «^ Segment-Extrakfionsmuster als auch 

SSL ^ ^ h0riZ ° ntale gmde L — g-nt-Besfimmung anhand des in Fig. 16 gezeigten Flussdiagramms 

n 7""'iVi'iiiii. ii L ])jj, ii 

[0143] Hier erfolgt die Bestimmung der MustergroBe des Referenzbilds genauso wie bei der oben beschriebenen ver- 



10 



DE 102 28 638 A 1 



tikalen geradlinigen Segment-Identifizierung. Das heiBt, falls der Abstand zwischen dem Fahrzeug 10 und dem Objekt 
durch die obige Gleichung 2 als z = K[m] berechnet wird, wird das Objekt mit der Hohe B[m] und der Breite A[m], das 
sich an einer Position mit dem Abstand L[m] im realen Raum befindet, mit einer b x a[Pixel]-GroBe auf dem Anzeige- 
schirm projeziert. 

5 

b = fxB/L Gl. 15 
a = fxA/L Gl. 16 

[0144] Daher wird, wie z. B. in Fig, 20A gezeigt, das b x a[Pixel] gerade Liniensegmeht-Muster yon dem Oberrand- 10 
gerade liniensegment-Bildmuster extrahiert, das zuvor vorbereitet wurde, und das Oberrandgerade Liniensegment-Ex- 
traktionsmuster "PatJLine_U" dient als Referenzmuster. Ahnlich ist das b x a[Pixel]-Unterrand-gerade Liniensegment- 
Extraktionsmuster M Pat_Line_D", das von dem zuvor vorbereiteten Unterrand-gerade Liniensegment-Bildmuster extra- 
hiert ist, in Fig, 20B gezeigt. 

[0145] Wenn die ReferenzmustergroBe fiir die Korrelationsberechnung gefunden worden ist, wird dann die Suchzone 15 
in der Nahe zu dem Objekt gesetzt (Schritt S53). v 
[0146] Ferner erfolgt auch das Setzen der Suchzone ahnlich der oben beschriebenen vertikalen geradlinigen Segment- 
Identifizierung. Das heiBt, in Bezug auf die Mitte des Umschreibungsvierecks des binaren Objektbilds (OBJ), sind die 
Breite und Hohe der Suchflache auf eine Hohe und Breite gesetzt, die durch die jeweiligen oberen, unteren, linken und 
rechten a[Pixel]-Bereich definiert ist, und der Suchbereich 103 fur die Korrelationsberechnung weist vier dieser a x a[Pi- 20 
xel]-Bereiche auf . 

[0147] Dann wird, aus innerhalb des Suchbereichs in der Nahe zu dem Objekt, unter \ferwendung der Korrelationsbe- 
rechnung ein Teil (OBJ_Pat) mit hoher Korrelation zu dem Oberrand-gerade Liniensegment-Extraktionsmuster "Pat_Li- 
ne_U" gesucht (Schritt S54). 

[0148] Zusatzlich wird identifiziert, ob ein Teil mit hoher Korrelation zu dem Oberrand-gerade Liniensegment-Extrak- 25 
tionsmuster "PatJLine_U" vorhanden ist oder nicht (Schritt S55). 

[0149] Falls in Schritt S55 ein Teil mit hoher Korrelation zu dem Oberrandgerade liniensegment-Extraktionsmuster 
w PatJLine_lT vorhanden ist (JA in Schritt S55), wird identifiziert, ob ein horizontales geradliniges Segment in dem Ob- 
jekt vorhanden ist (Schritt S56). Das Vorhandensein eines horizontalen geradlinigen Segments bedeutet, dass das Objekt 
als kunstliche (Haupt)~StraBenstruktur zu behandeln ist (Schritt S57), und die Bestimmung des horizontalen geradlinigen 30 
Segments wird abgeschlossen. 

[0150] Falls hingegen in Schritt S55 ein Teil mit hoher Korrelation zu dem Oberrand-gerade Liniensegment-Extrakti- 
onsmuster 'Tat_Line_U" nicht vorhanden ist (NEIN in Schritt S55), wird identifiziert, ob das bei der Korrelationsberech- 
nung verwendete Referenzmuster ein Unterrand-gerade Liniensegment-Bildmuster ist oder nicht (Schritt S58). 
[0151] _ Falls.in Schritt S58 das.bei der.Korrelationsberecrmungverwendete Referee 35 
Liniensegment-Bildmuster ist (NEIN in Schritt S58), wird ein vorher vorbereitetes Unterrand-gerade Liniensegment- 
Bildmuster gewahlt (Schritt S59) und der Fluss kehrt zu Schritt S52 zurtick. 

[0152] Dariiber hinaus werden in den obigen Schritten S52 und S53 die gleichen \brgange, die an dem Oberrand-ge- 
rade Liniensegment-Bildmuster ausgefuhrt wurden, an dem Unterrand-gerade Liniensegment-Bildmuster ausgefuhrt, 
und das b x a[Pixel]-Unterrand-gerade Liniensegment-Extraktionsmuster Tat_Line_D", das von dem in Fig. 20B ge- 40 
zeigten Unterrand-gerade Liniensegment-Bildmuster extrahiert ist, dient als das Referenzmuster. Ferner wird in Schritt 
S54 das Teil (OBJ_Pat) mit hoher Korrelation zu dem Unterrand-gerade Liniensegment-Extraktionsmuster "PatJLi- 
ne_D" unter Verwendung der Korrelationsberechnung aus innerhalb des Suchbereichs in der Nahe zu dem Objekt her- 
ausgefunden. 

[0153] Als Ergebnis der Korrelationsberechnung unter Verwendung des Unterrand-gerade Liniensegment-Extrakti- 45 
onsmusters, werden die Vorgange der oben beschriebenen Schritte S55 bis S57 ausgefuhrt. Wenn identifiziert wird, dass 
ein horizontales geradliniges Segment in dem Bild vorhanden ist, wird das Objekt als kunstliche Struktur behandelt, und 
die horizontale gerade Liniensegment-Identifizierung wird abgeschlossen. 

[0154] Dariiber hinaus werden, als Ergebnis der Korrelationsberechnung unter Verwendung des Unterrand-gerade Li- 
niensegment-Extraktionsmusters, wenn der Fluss wieder zur Identifizierung von Schritt S58 fortschreitet, weil die Suche 50 
nach horizontalen geradlinigen Segmenten unter Verwendung sowohl des Oberrand-gerade Liniensegment-Extraktions- 
musters als auch des Unterrand-gerade Liniensegment-Extraktionsmusters bereits abgeschlossen wurden (JA in Schritt 
S58), keine horizontalen geradlinigen Segmente als vorhanden identifiziert (Schritt S60), und der Fluss geht zur Recht- 
winkelsegment-Identifizierung weiter. 

[0155] Ferner liegt bei der oben beschriebenen horizontalen geradlinigen Segment-Identifizierung der Grund fur das 55 
Finden des Abstands zwischen den jeweiligen Teilen mit hoher Korrelation und dem Fahrzeug 10 nach Ausfuhrung der 
Korrelationsberechnung unter Verwendung sowohl des Oberrand-gerade Liniensegment-Extraktionsmuster als auch des 
Unterrand-gerade Liniensegment-Extraktionsmusters darin, dass weil auf der Basis des Pririzips binarer bzw. stereosko- 
pischer Sicht rnitteis der linken und rechten Kameras, der Abstand des horizontalen geradlinigen Segments nicht berech- 
net werden kann, Anders als im Falle der vertikalen geradlinigen Segment-Identifizierung wird daher bei der horizonta- 60 
len gerade Linien-Identifizierung die Identifizierung auf der Basis nur der Korrelation des geraden Linienmusters ausge- 
fuhrt. 

[0156] Nachfolgend wird die Rechtwinkelsegment-Bestimmung anhand des in Fig, 17 gezeigten Flussdiagramms er- 
lauterL, 

[0157] Bei der Rechtwinkelsegment-Bestimmung werden zuerst, urn nach einen rechtwinkligen Segment zu suchen, 65 
das Bild des Objekts und ein oberes rechtes Rechtwinkelsegment-Bildmuster, das ein Referenzbild zur Ausfuhrung der 
Korrelationsberechnung ist, ausgewahlt (Schritt S7 1 ). In Abhangigkeit von dem Abstand zwischen dem Fahrzeug 10 und 
dem Objekt, der in Schritt SI 3 des Flussdiagramms von Fig. 3 gefunden ist, wird die MustergroBe des Referenzbilds so 
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^ PrOPOrti ° nal ^ ^ ^ BildS im ^ RaUm * der auf den Anzeigeschirm projeziert wird 
[0158] Hierbei erfolgt die Bestinunung der MustergroBe des Referenzbilds genauso wie die vertikale eerade Linien 
S£££^££1£T* L^-nt-IdentifizieLg. wJ^T^S^ 

scnen dem ™hrzeug 10 un d dem Objekt mittels der obigen Gleichung 2 als z = L[m] berechnet wird wird das Obiekt rn , 



dem Anzeigeschirm projeziert. 
a=fxA/L Gl. 17 



10 



45 



50 



55 



60 



65 



I B L ff^^l, 21A geZeigt ' VO " dCm ZUVOr vorb «^ten oberen Rechtwinkelsegment-Bildmuster 

S^^cLS-^SS^r*" ^ ht dn ' * alPiXe,J ° beres Unkes Rechtwinkelsegment-Extrakt - 
15 J ™ Fig! 21 B^zSgr ' ° f VOrbere,teten ° beren unke " Rechtwinkelsegment-Bildmuster extrahiert 

SSL ZTot^^n S ^ KOm ^^ mg WOlde " * WW d - die Suchzone in der 

[0161] Ferner wird auch das Setzen der Suchzone ahnlich ausgefuhrt wie die vertikale gerade Linienseement-Identifi 
20 UmSl -° n T ' L^Wt-Identifizierung, die oben beschrieben sind. Das hetft a * der Mtttedes 
20 Umschre^ungsvierecks ernes bmaren Objektbilds (OBJ), werden die Breite und Hohe jeweils auf SmSSoS^ 

0ber ' und UMe des bin8ren 0bjektbilds • und di - ** JSSZSSSEZ 

Sng^rWoS Patfnt SffSSf?" " ^ - " h " d " n ^ Unter Wndun * der Korrelationsbe- 
25 "SSSlSi:^ " d6m 0berc " Rechtwinkelsegment-Extraktionsmuster 

[0164] Falls in Schritt S75 ein Teil mit hoher Korrelation zu dem oberen rechten Rechtwinkel-Seemenf p«™w«„,. 

A^r^ V , 0rhan u deD iSt (M in Schritt S75 >' *W der Ab ^ o2 oSftSSfi S3 "SST 
rn£?f? T*? ^ ? ^ GleichUDg 2 berechn * Um zu ^ntifizieren, ob das TeU mit 5S ToSonTnd 
das Objekt identische physische Korper sind oder nicht (Schritt S76) *-orreiatton und 

[0165] Falls femer der tatsachUcheAbstandzwischen dem Fahrzeue 10 und dem Obiektalwrh^™ aw.„j • u 

Korper idenufiztert werden, kann somit durch Vergleichen der erfassten Parattaxe Ad und Ad P Mstett SeAteSt 
vergleKhen, .denUfiziert werden, ob das Objekt und OBJ.Pat identische physische CSSd^fiS? 

SeTwe^Tstlr^ 

[0167] Falls hingegen in Schritt S75 ein Teil mit hoher Korrelation zu dem oberen rechten Rechtwinkelsewnent p. 
traktionsmuster Tat_Comer_R» nicht vorhanden ist (NFJN in Schritt S75) oder SSm^S ^ 
OB pa. nicht als identische physische Korper identifiziert werden (NEjFb sS ^7) gSSer Huss S SSS Stt 

rt^l f S ^ ° b ^ W der Korrelationsberechnung verwendete Re&SSte "^eStafa! 

Rechtwinkelsegment-Bildmuster ist oder nicht (Schritt S80) "eierenzmuster ein ooeres linkes 

[0168] Falls in Schritt S 80 das bei der Korrelationsberechnung verwendete Referenzmuster nicht das obere linke 
Rechtwinkelsegment-Bildmuster ist (NEJN in Schritt S80), wird das vorher vorbereitete obere Hnke R^hS.K 
ment-Bildmuster ausgewahlt (Schritt S81) und der Fluss geht zu Schritt S72 wetter Rechtwinkelseg- 
S2? • ? U f atzUch ^ d in den oben b eschriebenen Schritten S72 und S73 derselbe Vorgang, der fur das obere rechte 
Rechtwmkelsepent-Bildmuster ausgefuhrt wurde, fur das obeie linke Rechtwinkelsegment-B ldmusre ^a^seefuh^ 
ein ax a[Pixel]-oberes rechtes Rechtwinkelsegment-Extraktionsmuster "Pat Corner ^S. ^SSTfaSP 21B S 
^^^-BUdmuster extrahiert ist, dient als das Ref^enzmuster Fe "efwird in S74 
Xt?!rS!?"h a r ^ Unk t" Rechtwinkelse g~Extraktionsmuster "Pat_Corner I" zur Ver- 
rmS *]? « Korrelationsberechnung aus innerhalb der Suchzotie in der Nahe zu dem Objekt gesucht " 
n !L ?T der Korrelationsberechnung unter Verwendung des oberen linken Rechtwinkelsegment-Extrakti- 
onsmusters werden die Vorgange von Schntt S75 bis S79 ausgefuhrt, und wenn ein rechtwinkliges Segment als in dem 
Objekt yoihanden ^ identifiziert wird, wird das Objekt 101 als kunsttiche StraBenstruktu^^ 

segment-Identifizierung wird abgeschlossen. ^ecniwitucei 
™L Ak f 8 *"^ Korrelationsberechnung unter Verwendung des oberen linken Rechtwinkelsegment-Extrakti- 
onsmusters ,st, wenn der Fluss wieder zur Identifikation von Schritt S80 fortschreitet, die Suche nach rechtw^wjen 
Segmenten unter Verwendung des oberen rechten Rechtwinkelsegment-Extraktionsmusters als auch desTb e rn Enken 
R^hmnkelsegment-Exttaktionsmusters bereits abgeschlossen worden (JA in Schritt S80). Somit wird kein rechtwink- 
liges Segment als vorhanden identifiziert (Schritt S82). • uMaurewiiwinK 
[0172] Daher wird bestimmt dass das Objekt keine kiinstliche StraBenstruktur ist (Schritt S83), wird die Rechtwinkel- 

[0173] Ferner ist bei der oben beschriebenen Rechtwinkelsegment-Idenlifizierung der Grund dafur, dass die Korrelati- 
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onsberechnung sowohl unter Verwendung des oberen rechten Rechtwinkelsegment-Extraktionsmusters als auch des obe- 
ren linken Rechtwinkelsegment-Extraktionsmusters ausgefuhrt wird und dass der Abstand zwischen den Teilen mit je- 
weiligen hohen Korrelatioaen und dem Fahrzeug 10 mit dem Abstand zwischen dem Objekt und dem Fahrzeug 10 ver- 
glichen wird, der gleiche wie im Fall der vertikalen gerade Liniensegment-Identifizierung. 

[0174] Nun wird die Bestimmung identischer Formen anhand der Figuren erlautert. 5 
[0175] Wie in Fig. 22 gezeigt, ist die Identifizierung identischer Formen ein Prozess, in dem eine StraBenstruktur 50 
(z. B. eine obere und eine untere runde Linse, die in einem Verkehrssignal bzw. einer Ampel angeordnet sind), die aus ei- 
ner Mehrzahl physischer Korper mit identischer Form strukturiert sind, unter den von den Infrarotkameras erhaltenen In- 
frarotbildem gesucht wird, 

[0176] Das in Fig. 23 gezeigte Flussdiagramm wird zur Erlauterung herangezogen. Zuerst werden, um nach identi- 10 
schen Formen zu suchen, das Bild des Objekts und ein Objektmuster "Pat", das ein Referenzbild zur Ausfiihrung der 
Konelauonsberechung ist, gesetzt (Schritt S91). 

[0177] Hier ist das Objektmuster "Pat" das Referenzbild, das die Zone um eine GroBe groBer setzt als das binare Ob- 
jektbiid (OBJ) 200, wie in Fig. 24B gezeigt, falls z. B. das Teil der Linse in der StraBenstruktur 50, das Warme abstrahlt, 
als das binare Objektbild (OBJ) 200 extrahiert wird, wie in Fig. 24A gezeigt. is 
[0178] Wenn das Objektmuster fur die Korrelationsberechnung gefunden worden ist, wird dann die Suchzone in der 
Nahe zu dem Objekt gesetzt (Schritt S 92). 

[0179] Hier wird die Suchzone wie folgt gesetzt. Wie insbesondere in Fig. 24A gezeigt, wird der Bereich der Suchzone 
so gesetzt, dass eine obere und eine untere a[Pixel]-H6he uber und unter dem binaren Objektbild 200 vorhanden ist und 
eine linke und rechte b/2[Pixel]-Breite rechts und links in Bezug auf die Mitte des binaren Objektbilds 200 vorhanden ist, 20 
Dies dient als der jeweilige obere Suchbereich 202 und untere Suchbereich 203 fur die Korrelationsberechnung. 
[0180] Dann wird ein leil (OBJ_Pat) mit hoher Korrelation zu dem Objektmuster "Pat" fur die Korrelationsberech- 
nung aus innerhalb des oberen Suchbereichs 202 und des unteren Suchbereichs 203 in der Nahe zu dem Objekt gesucht 
(Schritt S93). 

[0181] Zusatzlich wird identifiziert, ob ein Teil mit hoher Korrelation zu dem Objektmuster "Pat" vorhanden ist 25 
(Schritt S94). 

[0182] In Schritt S94 wird fur den Fall, dass ein Teil mit hoher Korrelation zu dem Objektmuster "Pat" vorhanden ist 
(JA in Schritt S94) eine mit dem Objekt identische Form als vorhanden identifiziert (Schritt S95), wobei eine identische 
Form als kiinstliche StraBenstruktur behandelt wird (Schritt S96), und die Formidentitats-Bestimmung wird abgeschlos- 
sen. Ferner wird in Beispiel von Fig. 22 aus der Mitte des Infrarotbilds eine StraBenstruktur (Verkehrssignal) mit einer 30 
Mehrzahl (2) identischer Objekte (runder Linsen) erfasst 

[0183] Falls hingegen in SchriU S94 ein Teil mit hoher Korrelation zu dem Objektmuster "Pat" nicht vorhanden ist 
(NEIN in Schritt S94), wird keine mit dem Objekt identische Form als vorhanden identifiziert (Schritt S97), wobei keine 
identische Form als kiinstliche HauptstraBenstruktur behandelt wird (Schritt S98), und die identische Formidentifizie- 

rung wird abgeschlossen.- _ .35 

[0184] Ferner wurde bei der oben beschriebenen Formidentitats-Bestimmung das Setzen der Suchzone, in der nach 
dem Objektmuster gesucht wurde, in der vertikalen Richtung des binaren Objektbilds (OBJ) 200 gesetzt, wobei aber, 
weil die physischen Korper mit identischer Form auch von links nach rechts angeordnet sein konnen, nach Suche in einer 
vertikalen Richtung, die Suchzone auch von links nach rechts gesetzt werden kann, und nach einem Objektmuster ge- 
sucht werden kann. 40 
'[0185] Zusatzlich umfasst in der vorliegenden Ausfiihrung die Bildprozessoreinheit 1 eine Objektextraktionsvorrich- 
tung, eine kiinstliche Sruktur-Idendfizierungsvorrichtung und eine Referenzbilddimensions-Veranderungsvorrichtung. 
Genauer gesagt entsprechen SI bis S7 in Fig. 3 der Objektextrakdonsvorrichtung, S25 bis S28 in Fig. 12 entsprechen der 
kunstlichen Strukturidentifikationsvorrichtung, und S30 in Fig. 12 entspricht der kiinstlichen Struktureliminationsvor- 
richtung. Ferner entsprechen S32 in Fig. 15, S52 in Fig. 16 und S72 in Fig. 17 den Referenzbiiddimensions-Verande- 45 
rungsyorrichtungen; 

[0186] Ferner wurde in der oben beschriebenen Ausfiihrung Infrarotkameras 2R und 2L als fotografische Vorrichtung 
benutzt, wobei aber auch eine Fernsehkamera, die nur normales sichtbares Licht erfassen kann, wie sie in der japanischen 
ungeprtiften Patentanmeldung Erstveroffentlichung Nr. Hei 2-26490 offenbart ist, verwendet werden kann. Jedoch kann 
mittels einer Infrarotkamera der Extraktionsprozess von Heren oder anderen fahrenden Fahrzeugen o. dgl. yerkiirzt wer- 50 . 
\ den, und dies kann mit einem relativ niedrigen Rechenkapazitatswert der Berechnungsvorrichtung realisiert werden. 
Dariiber hinaus wurde in der oben beschriebenen Ausfiihrung das Beispiel der Uberwachung der Vorderseite des Fahr- 
zeugs beschrieben, wobei aber auch die Ruckseite des Fahrzeugs oder eine andere Richtung uberwacht werden kann. 
[0187] Die Erfindung betrifft eine FahrzeugzOnen-Uberwachungsvorrichtung, die kiinstliche Strukturen auf der Basis 
von Forrriidentifikationen unter Verwendung eines Referenzbilds aus einem Infrarotbild eliminiert, das von einer an dem 55 
Fahrzeug vorgesehenen Fotografiervorrichtung aufgenommen worden ist, und verbleibende Objekte als sich bew.egende 
physische Korper, wie etwa FuBganger und Here erfasst. Die Fahrzeugzonen-Uberwachungs vorrichtung, die die in der 
Nahe des Fahrzeugs befindlichen physischen Korper aus Infrarotbildem erfasst, die von an dem Fahrzeug vorgesehenen 
Infrarotkameras 2R und 2L aufgenommen worden sind, umfasst eine Objektextrahiervorrichtung, die Infrarotstrahlung 
abgebende Objektbilder aus dem Infrarotbild extrahiert, sowie eine kunstHche Struktur-Identifiziervorrichtung, die iden- 60 
tifiziert, ob ein Objekt eine kiinstliche Struktur ist oder nicht, indem sie das von der Objektbild-Extrahiervorrichtung ex- 
trahierte Objektbild mit einem Referenzbild vergleicht, das ein geradliniges Muster oder ein rechtwinkliges Muster auf- 
weist. 

Patentanspriiche 65 

1 . Fahrzeugzonen-Uberwachungs vorrichtung, die einen in der Nahe des Fahrzeugs befindlichen physischen Korper 
aus von einer Fotografiervorrichtung (2R, 2L) aufgenommenen Infrarotbildem erfasst, umfassend: 
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£s e t < ^f teXtrahierV ° lriChtUn8 (S 1 WS S7) ' ^ dn "~*ta, abgebendes Objekt aus den Infraro.bildern er- 
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